Prompt Engineering

Learn Prompting

https://learnprompting.org/ja/

Prompt-Engineering-Guide

https://github.com/dair-ai/Prompt-Engineering-Guide/blob/main/guides/prompts-intro.md

https://www.promptingguide.ai/

ReActやmultimodal CoT、Graph promptingとか

Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4

https://arxiv.org/abs/2312.16171v1

モデルのパラメータを一切変化させず、few-shot学習が可能になる

具体例を自然文の入力とし、モデル内の知識の取り出し方を教える

Chain-of-Thought Prompting

言語基盤モデルから得たい知識を引き出すのに有効であり、そのモデルが巨大であるほど効果が増す

論理的思考を要するタスク(算術、常識、記号推論)での性能を高めた

最終的な答えを求めるのに必要な施工プロセスを記述したプロンプト

Minerva: Solving Quantitative Reasoning Problems with Language Models

PaLMをarxivの論文とLatexで書かれてるWebページ微調整

数学問題で性能を大きく向上

いきなり答えを予想するのではなく、途中経過・途中式を書かせるCoT prompting

回答を大量生成して、その中で多数決で解を求める

Self-Consistency

Least-to-Most

AMA

embedding

React

LEFT: Language-Interfaced Fine-Tuning for Non-Language Machine Learning Tasks

GPT3などの基盤モデルのファインチューニングは言語タスクだけでなく、分類・回帰タスクでも効果的

データセットを自然言語に変換することで、従来ど通りのファインチューニング

用いる変数が何であるかを自然言語で教えてタスクを解くことが可能

LLMのPromptまわりのトレンド

https://twitter.com/itosinitosin123/status/1614631912437608451?s=20&t=D9dMlag3o7lN-9elHM15Hw

https://twitter.com/bioshok3/status/1614849603677093888?s=20&t=Jnty2p014f7270AS7N3cjA

LLMのPrompt周りのトレンド

(1) CoTやばい。めっちゃ推論能力上がる。

↓

(2) Self-Consistencyやばい。CoT並列にしたらもっと推論能力上がる。

↓

(3)Least-to-Mostやばい。問題分解させたら推論能力さらに上がる。

↓

(4)AMAやばい。QA形式連鎖させたら6BでGPT-3の175Bに勝った。

↓

(5) embeddingやばい。ファインチューンするよりembeddingでshot作った方が安いし早い。　←イマココ

↓

(次こうなるかなぁって予想)

↓

(6) embeddingさせたSelf-Consistencyやばい。

↓

(7)embeddingさせたLeast-to(略

↓

(8)em(ry

まずは言語モデルの基礎力をデータ量PaLMの1桁あげて爆上げし、、強化学習もガンガン用いて、ここ1年で乱立している言語モデル改善手法全てをいい感じに使い、embeddingもWeb検索も、Reactも何もかもを使ったらどうなるか？までを考えてやっと「現状」わかっている言語モデルのポテンシャルって感じ

「現状」でさえ相当すごくなることが予想されるし、上記は言語モデルの改善手法が今後も出てくることを考慮してない、マルチモーダルも考慮してない、トランスフォーマーを超えるアルゴリズムが来ることも考慮してないし伸び代は個人的にはAI全体としてもっとあると思ってる。

プロンプトエンジニアリング

https://zenn.dev/makunugi/books/0da7ebac388e01/viewer/7e05cd

https://twitter.com/itosinitosin123/status/1634116891399815168?s=20

この1週間、Chat APIで色々プロンプト評価して分かったこと

systemで求められるpromptの記法はdavieci003と変わらない

systemではshot以外英語にしたほうがいい。日本語promptの指示精度はまだ低い

An LLM Prompt Pattern Catalog

https://twitter.com/johnjnay/status/1634006884226154496?s=20

「Multi-Task Prompt Tuning」というPrompt Tuning手法でパラメーター効率の高い転移学習が可能なるらしい。

https://twitter.com/goto_yuta_/status/1632964237600657409?s=20

LLM Prompting & Distillation

https://twitter.com/johnjnay/status/1631496748563673095?s=20

Evolving LLM Prompts

https://twitter.com/johnjnay/status/1630952587720552451?s=20

ChatGPT向けの様々なプロンプトテンプレートが、ポチポチするだけで使えるChrome拡張機能「AIPRM for ChatGPT」がとても便利そう！

https://twitter.com/_SA1P/status/1634196817327067136?s=20

お知らせです。本日、AIツール学習&プロンプト投稿サービス「INOUT」をリリースしました。「誰もがAIツールを学び、使い、シェアできる場所」というビジョンのもと有志で開発しています

https://twitter.com/fumi_sagawa/status/1634363746998185984?s=20

Can large language models write prompts…for themselves? Yes, at a human-level (!) if they are given the ability to experiment and see what works.

https://twitter.com/keirp1/status/1588334762892333056?s=20

ChatGPTは馬鹿じゃない！真の実力を解放するプロンプトエンジニアリングの最前線

https://zenn.dev/noritamarino/articles/a2321a65fe2be8#few-shot

Emergence and reasoning in large language models

https://www.youtube.com/watch?v=0Z1ZwY2K2-M

ゴールシークプロンプト

https://twitter.com/shoty_k2/status/1635924454877569024?s=20

https://twitter.com/shoty_k2/status/1635921736674979840?s=20

今注目してる話。清水さんは早速ChatGPTのGPT-4でストーリー書かせてみたらかなりいい感じだったんだと。そしたら落合さんからプログラムみたいな謎のプロンプトが投げられた。どうやらそれはShunsuke氏が紹介してるゴールシークによるプロンプトデザインって手法らしい。まだ詳細はチンプンカンプンで理解できてない

https://twitter.com/umiyuki_ai/status/1635874957296304128?s=20

https://twitter.com/sarukun99/status/1635958649272291329?s=20

誕生の瞬間

僕がソムリエ作ったら、速攻で一般化してくれました。

ロボット制御

https://twitter.com/ItoMasaki_ROS2/status/1636012891437670401?s=20

ChatGPTのPromptDesign AIを使いこなす技術。初級編

https://note.com/daichi_mu/n/n7eb79a11e470

AIに論文を書かせるときは著者部分に「Google」，「DeepMind」，「OpenAI」とか描いておけば品質が上がるとかもありそう

https://twitter.com/ImAI_Eruel/status/1635539654790479872?s=20

https://twitter.com/shota7180/status/1637014157596971013?s=20

毎日便利なプロンプトを紹介している『Prompt Engineering Daily』がめちゃ便利🔥